CATHY O'NEIL
Algorithmes. La bombe à retardement
Traduction de l'anglais (Etats-Unis) de Sébastien Marty.
"Des modèles mathématiques mal conçus contrôlent aujourd’hui les moindres aspects de l’économie, depuis la publicité jusqu’à la gestion des établissements pénitentiaires. Ces ADM (Armes de Destruction Mathématique) partagent de nombreuses caractéristiques avec le modèle de valeur ajoutée qui a fait dérailler la carrière de Sarah Wysocki dans les écoles publiques de Washington. Opaques, jamais remises en cause et comptables de rien, elles opèrent sur une échelle qui leur permet de trier, de cibler ou d’« optimiser » des millions de personnes. En confondant leurs conclusions avec la réalité du terrain, la plupart génèrent des boucles de rétroaction néfastes."
"On voit ici que les modèles, malgré leur réputation d’impartialité, sont le reflet d’une idéologie et d’objectifs bien précis. "
"Les algorithmes deviendront dans les années à venir de plus en plus omniprésents. Nous devons exiger que les systèmes garantissant leur responsabilité se généralisent eux aussi. Commençons dès maintenant à bâtir un cadre, pour s’assurer à long terme que les algorithmes rendent des comptes. Posons comme base la démonstration de leur légalité, de leur équité et de leur ancrage factuel. Et continuons au fil du temps de préciser ce que ces critères signifient, en fonction du contexte. Ce sera un travail collectif, et nous aurons besoin d’autant d’avocats et de philosophes que d’ingénieurs."